资源约束下学习记忆价值：TokenWorth 终身记忆框架
🧭 资源受限终身记忆价值学习 ★ 深度解读
Nanjing University · National Key Laboratory for Novel Software Technology, Nanjing University
提出 TokenWorth，在线学习 query-dependent 记忆价值并统一用于检索与记忆淘汰，在资源受限终身智能体任务中成功率最高且输出 token 最少
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的长程记忆或知识库检索中，不要只按 embedding/BM25 相关度取 top-k；可以增加一层轻量 query-dependent 价值打分，融合历史成功率、可靠性、最近使用等特征，用执行结果（成交/点击/解决率）在线更新，统一指导检索和记忆淘汰。TokenWorth 的 linear base scorer + RFM 残差可以在几百条反馈内工作，适合预算敏感场景。
- 用“任务级结果”作为稀疏监督时，目标设为 \(2r-1\) 即可，不必追求反事实归因；这能避免昂贵重执行。对落地来说，可以把成功交互存为候选 memory，把失败反馈用于更新被注入记忆的价值，低成本积累负信号。
- 记忆管理借鉴 admission/evict 策略：库满后，新经验要么足够新颖，要么 probe-averaged worth 显著超过最差/最优记忆才准入，否则可替换低效用近邻；淘汰时按最近一批 probe queries 的平均价值最低者出局。类似做法可用于在线更新推荐 Agent 的 few-shot 示例库或商品卖点素材库。
- 评估记忆/检索模块时，应像该工作一样固定联合预算（输出 token、步数、存储容量、注入长度），并报告“每 token 收益”；否则复杂 reflection/skill 模块容易在业务中被高估。
从延迟单侧反馈中学习个性化记忆门控
🧭 Agent 长期记忆 · 个性化门控
Salesforce AI Research · University of California, Los Angeles · University of Illinois at Urbana-Champaign · University of Illinois Chicago
将 Agent 记忆门控建模为延迟单侧反馈的 contextual apple tasting，提出 Warm-Start UCB 实现用户级个性化选择
📌 工作参考价值（4 点）
- 在电商客服/导购 Agent 的记忆系统中，不要使用全局统一的重要性阈值；可以按用户做个性化门控，用“该 fact 后续是否被检索并用于回复”作为弱标签，低成本构造训练数据。
- 把记忆写入决策当作 contextual bandit 问题处理：只有保存下来的 fact 才能观察到后续复用信号（单边反馈），且复用有延迟；可采用 Warm-Start UCB 的思路，先用离线数据初始化策略，再对当前用户在线微调，比纯离线或纯在线更稳。
- 工程实现上，设置合理的延迟窗口：理论显示延迟窗口在 O(√T) 内时 regret 有上界，延迟过长时应截断或异步更新，避免在线学习退化。
- 业务可复用结论：用户对 fact 的复用模式差异大，个性化门控在 memory budget 小、history 长时优势更明显，适合需要长期用户记忆的电商推荐/客服场景。
ASCENT：通过验证经验自蒸馏实现在线测试时训练长程智能体
🧭 Agent 在线测试时训练 · 自我蒸馏验证经验 ★ 深度解读
University of New South Wales (UNSW Sydney)
用冻结初始模型将验证成功的轨迹蒸馏为 LoRA 软目标，使长程 Agent 在单次任务流中稳定在线进化
📌 工作参考价值（4 点）
- 在线学习方案：在对话式导购/客服/智能投放等长程 Agent 场景，可以用冻结 base 模型 + LoRA 快权重持续训练。每次成功会话（成交/点击等强验证）做一次自蒸馏，失败跳过更新，无需 replay buffer，工程成本低。
- 特权信息构造：将成功会话的动作有效部分（排除 parse 失败或环境未执行的动作）与推理文本保留，去掉 observation（按模型规模调整），作为 teacher 的 hindsight 上下文。教师看到完整成功轨迹后产生全词表 soft target，学生只在当前 prefix 学习，可减少冗余 detour 动作、提升 turns 效率。
- 蒸馏目标选择：用 forward KL 匹配全词表分布，而不是最大化生成 token 概率或 REINFORCE 梯度；这能抑制策略对自身输出的过拟合，避免熵崩溃和无效动作增加，尤其适合单条轨迹在线流。
- 与 in-context memory 互补：小模型可能被检索记忆干扰，可单独用权重更新；大模型可以叠加 retrieved memory 与 ASCENT 权重，形成 co-evolution。动作有效性过滤可免费从环境响应中解析得到，可作为轨迹清洗信号。
无限参数LLM：从实时数据生成并适应权重
🧭 超网络生成 LLM 权重 · 在线贝叶斯更新
Boltzbit Limited · University of Cambridge
用超网络从实时交互数据动态生成低秩权重，并以贝叶斯在线更新实现会话内持续适应
📌 工作参考价值（4 点）
- 在长会话 Agent 或客服场景中，将用户实时提供的纠错、偏好、事实等写入模型权重而非每次拼进 prompt，可减少重复 token 开销、释放上下文窗口，并让知识跨轮次持久化。
- 借鉴超网络生成低秩调制权重的思想，在推荐系统中用超网络根据用户/物品特征动态生成个性化 adapter 或 FFN 权重，实现参数高效的动态用户建模，避免为每个用户存储大量个性化参数。
- 采用贝叶斯在线更新 latent code 的方式维护用户或场景的隐状态，使模型行为随交互逐步调整，适合多轮推荐、动态创意生成等需要连续适应的任务。
- 评估时设计对比 in-context learning 和 retrieval 的协议，重点考察权重化知识是否在计算摊销、泛化、持久性上优于 prompt 方案，业务上可作为在线学习方案的验证框架。
模块化测试时训练：将 TTT 重新思考为可组合模块
🧭 序列建模 · TTT 框架
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
提出模块化 TTT 框架，将内部学习器建模为有向无环图，系统消融组件并发现关键设计原则
📌 工作参考价值（4 点）
- 可尝试用 TTT 替代 Transformer 做用户行为序列建模，受益于其在线学习特性，可能更高效处理长序列。
- 模块化设计思想可借鉴到推荐系统的特征交互或模型组件，将学习率、损失函数等也作为可配置模块，便于消融和新设计。
- 消融结论直接可用：使用单层非线性快权重网络，避免深度网络和归一化，采用小学习率初始化与权重衰减，可减少实现踩坑。
- 业务中若需轻量、增量更新的序列模型，TTT 的 fast-weight 机制可能比 Transformer 更节省 inference 开销，适合实时推荐场景。
Σ-Mem：LLM多智能体系统的在线可靠性记忆
🧭 多智体可靠性记忆与自适应协调 ★ 深度解读
Nanyang Technological University
提出在线维护 peer 能力与关系的可靠性记忆，通过残差引导、路由与投票复用，无需重训模型
📌 工作参考价值（4 点）
- 可靠性记忆即服务：可对电商搜索/推荐中的多个 LLM agent（如意图解析、商品理解、排序）分别维护能力矩阵，根据历史正确反馈动态调整其在集成投票或路由中的权重，无需反复微调中心模型。
- 稳定在线更新：使用衰减对称矩阵 + Weyl 不等式保证单事件扰动有界，使长期可靠性能持续累积，避免噪声突发扭转信任。适用于广告竞价策略或推荐多路召回融合中的在线信誉更新。
- 无应答也能路由：直接读取记忆得分 $s_{p,t}= \phi(x_t)^\top M_p \phi(x_t)$ 即可选 peer，决策时不依赖 agent 输出，可复用于多路召回合并前的最优召回器选择，降低中心模型推理成本。
- 关系证据补充：记录 peer 之间的正确性共现关系，可识别共谋偏见或相关性错误，适用于推荐系统多模型融合时判断一致性是否真正可靠。
SalesLoop：基于性能反馈的强化学习销售线索排序框架
🧭 强化学习闭环排序优化 ★ 深度解读
Li Auto Inc.
通过闭环强化学习与位置感知奖励+判别式GRPO，解决销售线索排序中离线-在线指标不对齐、逐点-列表目标错位及分布漂移三大断层
📌 工作参考价值（4 点）
- 闭环反馈直接优化业务指标：借鉴 SalesLoop 的 Deploy→Collect→Reward→Update 月度迭代闭环，将线上真实转化（非代理标签）作为奖励，解决离线 AUC 与线上 KPI 背离问题。电商推荐中可类似地将成交、加购等延迟信号转化为位置加权 + 速度加权的奖励，驱动模型直接优化 Top-K 业务指标。
- 判别式 GRPO 实现列表级优化：将 GRPO 的组内相对优势思想用到排序分上，而非 token 生成概率，用 KL 散度对齐分数分布与优势分布，替代传统逐点 BCE。这对搜索/推荐中需要对整个候选列表优化 NDCG 等指标的场景非常实用，且无需价值网络。
- 位置感知奖励建模：奖励 = 转化标签 × log₂(rank+1) 的倒数 × 速度衰减，让模型感知高顺位转化的更高价值，适合有运营截断窗口（如每日 Top-1 万商品推送）的场景。可复用到广告位竞价排名或消息推送的排序训练。
- 温启动 + 低学习率保守更新：每月从上一轮参数热启，配合降低 10 倍的学习率及 BCE 正则项，防止灾难性遗忘并保持点校准。在业务持续迭代的场景中，这一策略能有效积累历史知识，实现复利式效果增长。
惩罚路径，奖励结果：面向真实世界 Agent 的高效在线学习
🧭 Agent 路径约束与高效在线学习
Pine AI · University of Washington
用可验证的路径惩罚补充结果奖励，在极少交互下同时达成高成功率和近零违规
📌 工作参考价值（4 点）
- 将业务规则转化为可验证惩罚：在面向用户的推荐或客服 Agent 中，把“不频繁打扰”“遵守工作时间”等硬约束定义为一步即可检测的惩罚，与结果奖励叠加训练，可大幅降低违规率。
- 用惩罚注入方差，提高样本效率：当多个 episode 的结果全为失败时，仅靠结果奖励的 GRPO 等算法会因组内优势为零而浪费昂贵 rollout；对路径施加惩罚能产生可用的组内方差，使学习信号更密集，在推送策略、搜索对话等在线场景中快速收敛。
- 避免纯惩罚导致不作为陷阱：论文总结出四条惩罚设计规则，尤其提到不能只用惩罚而抛弃结果奖励，否则 Agent 会学会“不做任何动作”来逃避惩罚；在推荐 Agent 中设计负向信号时需保持正向结果激励。
- 利用路径惩罚提升无违规率可作为业务上线指标：提出“可部署率（violation-free rate）”指标，可用于评估推荐 Agent 在真实环境中的合规表现，作为上线前的 hard gate。
经典缓存策略失效：面向语义检索缓冲区的学习增强替换
🧭 Agent记忆缓存 · 学习增强替换
LIGHTSPEED, Tencent · The Chinese University of Hong Kong
提出学习增强框架 SOLAR，通过遗憾驱动更新和贝叶斯在线选择，在语义缓存中取得恒定竞争比和 5–75% 的相对提升
📌 工作参考价值（4 点）
- 不要盲信 LRU/LFU：在语义检索缓存场景（如 Agent 记忆、会话推荐上下文）中，由于缺乏时间/频率局部性，简单的 FIFO 往往优于经典策略，可作为安全基线。
- 遗憾驱动的阈值触发：借鉴 SOLAR 的修改时机决策，仅当累积遗憾超过阈值时才淘汰/插入内容，可大幅降低缓存刷新开销（修改率～17%），适合高吞吐在线服务。
- 从隐式反馈中学习选择内容：使用贝叶斯在线学习基于检索命中质量（连续打分）动态选取缓存条目，可迁移到推荐系统中的曝光缓存、实时兴趣表征缓存，提升长尾覆盖与及时性。
- 缓存容量不是越大越好：实验发现的倒 U 型关系表明，过大的缓存可能引入噪声，可尝试将容量视为噪声控制开关，关注“工作集”而非全量存储，避免无效检索干扰。
AI 代理的战略决策支持：何时独自行动，何时寻求帮助
🧭 AI Agent 决策支持与自适应支持调用 ★ 深度解读
University of Pennsylvania
提出在线自适应算法 SOS，以最小化支持调用次数同时保证反事实漏支持误差可控
📌 工作参考价值（4 点）
- Agent 工具调用的成本控制：在电商推荐、客服等 Agent 系统中，外部工具（数据库、知识库、人工审核）调用成本高，SOS 算法能自适应学习何时真正需要工具，使支持调用率大幅低于 LLM 自主决定基线，同时维持相同或更低的漏支持错误率，可直接嵌入 Agent 推理循环。
- 在线校准与反事实反馈：当反馈只能选择性获得（即只有调用支持时才得知其是否必要），随机探索+重要性加权更新阈值的机制可用于推荐系统中延迟或部分可观测的指标优化，例如判断何时需要人工审核高风险的推荐结果。
- 与现有 LLM 训练解耦的监督层：该框架作为无模型修改的外层监督，适用于任何黑盒 Agent，无需重训或微调 LLM，即可在线上实现错误率可控的支持决策，适合快速叠加强化已有 Agent 的可靠性。
- 分数设计启示：实验表明使用表示学习的参数化分数（线性探针、锚定分数）比纯置信度分数更稳定高效，尤其在初始信号不可靠时，可通过在线校准逐步改善分离度，为设计 Agent 中的支持价值估计函数提供实用参考。
情境化LLM级联的在线潘多拉魔盒策略
🧭 LLM推理 · API级联优化
The Fuqua School of Business, Duke University
提出在线学习算法，在LLM API级联中自适应决定查询顺序和部署选择，实现~O(√T)后悔界。
📌 工作参考价值（4 点）
- 在电商广告文案生成或客服多LLM服务成本优化中，可借鉴「两阶段决策」框架：先按预留指数顺序查询API生成候选，再根据下游奖励选择最优输出，无需事先知道不同API的确切质量分布。
- 对每个API不建完整输出分布，而是直接学习上下文相关的「预留指数」函数，结合GMM型估计与UCB探索，在业务中可大幅降低参数估计负担，特别适合API频繁迭代或输出分布复杂的场景。
- 算法保证了后悔界与上下文维度成正比，工程实现时可通过选择合适的参数化形式（如线性函数）和滑动窗更新策略，平衡实时性与收敛性，适合大规模高并发请求。
- 在多智能体系统里分配不同能力LLM Agent处理子任务时，也能使用类似思路：动态决定调用哪些Agent、调用顺序，以及最终采纳哪个Agent的输出，从而在预算约束下最大化任务成功率。